Resumo Este artigo tem o objetivo de analisar, sob as possibilidades teóricas do paradigma indiciário, a metodologia utilizada na construção do algoritmo do Ideb e na projeção de metas a serem alcançadas em todas as esferas dos sistemas educacionais brasileiros, buscando indícios que nos levem a compreender a concepção de qualidade da Educação adotada pelo indicador. Trata-se de um estudo qualitativo que assume a pesquisa bibliográfica e a análise documental como abordagem teórico-metodológica, considerando, como fontes, as notas técnicas oficiais disponibilizadas para descrever os procedimentos estatístico-matemáticos utilizados. As análises apresentadas evidenciam o rigor matemático e o cuidado dos profissionais do MEC/Inep em diferenciar as metas bienais projetadas para cada modalidade de Ensino e setor administrativo. Em contrapartida, expõem sua fragilidade em não considerar as especificidades que constituem a realidade educacional brasileira, comprometendo a fidedignidade dos resultados evidenciados. analisar indiciário brasileiros indicador Tratase Trata se teóricometodológica, teóricometodológica teórico metodológica, metodológica teórico-metodológica considerando fontes estatísticomatemáticos estatístico matemáticos utilizados MECInep MEC Inep administrativo contrapartida brasileira evidenciados

Resumen Este artículo tiene como objetivo analizar, bajo las posibilidades teóricas del paradigma probatorio, la metodología utilizada en la construcción del algoritmo Ideb y en la proyección de metas a ser alcanzadas en todas las esferas de los sistemas educativos brasileños, buscando evidencias que nos lleven a comprender el concepción de la calidad en la Educación adoptada por el indicador. Se trata de una investigación cualitativa que asume como enfoque teórico-metodológico la investigación bibliográfica y el análisis documental, considerando como fuentes las notas técnicas oficiales disponibles para describir los procedimientos estadístico-matemáticos utilizados. Los análisis presentados muestran el rigor matemático y el cuidado de los profesionales del MEC/Inep en diferenciar las metas bienales diseñadas para cada modalidad de enseñanza y del sector administrativo. Por otro lado, exponen su fragilidad al no considerar las especificidades que constituyen la realidad educativa brasileña, comprometiendo la confiabilidad de los resultados evidenciados. analizar probatorio brasileños indicador teóricometodológico teórico metodológico documental estadísticomatemáticos estadístico matemáticos utilizados MECInep MEC Inep administrativo lado brasileña evidenciados

Abstract This paper aims to analyze, under the theoretical possibilities of the indiciary paradigm, the methodology used in the construction of the Ideb algorithm and of intermediate goals for the quality of Brazilian Education, looking for evidence that will lead us to understand the concept of quality of Education assumed by the indicator. It is a qualitative study, which uses researching bibliographies and analyzing documents as a theoretical-methodological approach considering, as sources, the official technical notes made available to describe the statistical-mathematical procedures utilized in the design of the indicator. Results showed the mathematical rigor and the care taken by MEC/Inep professionals to differentiate the biennial goals projected for each teaching modality and in all administrative spheres. On the other hand, they expose some weaknesses at not considering the specificities surrounding the Brazilian educational reality, compromising the reliability of the evidenced results. analyze paradigm indicator study theoreticalmethodological methodological sources statisticalmathematical statistical MECInep MEC Inep spheres hand reality results

RESUMO Durante a reforma educacional implantada na primeira década deste século no estado do Espírito Santo, foi instaurado, como política de bonificação por desempenho, o Indicador de Desenvolvimento das Escolas. Este artigo foi desenvolvido com o objetivo de analisar a metodologia utilizada na construção do algoritmo do indicador, estabelecendo algumas aproximações com o Índice de Desenvolvimento da Educação Básica. Para tanto, assume uma metodologia mista exploratória sequencial, subsidiada pela pesquisa documental e por análises correlacionais. Como resultado, percebeu-se que, embora apresente avanços em relação ao indicador nacional, sobretudo por considerar o fator socioeconômico em sua composição, existem fragilidades que são sinalizadas pensando um possível aperfeiçoamento futuro.

ABSTRACT During the educational reform implemented in the first decade of this century in the state of Espírito Santo, Brazil, it was established, as a bonus policy for performance, the School Development Indicator. This article was developed with the objective of analyzing the methodology used in the construction of the indicator algorithm, establishing some approaches with the Basic Education Index of Development. With this aim, it assumes a mixed sequential exploratory methodology, supported by documentary research and correlational analyses. As a result, it was noticed that, although presenting advances in comparison to the national indicator, primarily as it considers the socioeconomic factor in its composition, there are weaknesses signaled in order to think a possible improvement in the future.

RESUMEN Durante la reforma educativa implementada en la primera década de este siglo en el estado de Espírito Santo, se introdujo el Indicador de Desarrollo Escolar como política de bonificación por desempeño. Este artículo se desarrolló con el objetivo de analizar la metodología utilizada en la construcción del algoritmo del indicador, estableciendo algunas aproximaciones con el Índice de Desarrollo de la Educación Básica. Para ello, asume una metodología mixta exploratoria secuencial, apoyada en investigación documental y análisis correlacionales. Como resultado, se percibió que, si bien presenta avances en relación al indicador nacional, especialmente considerando el factor socioeconómico en su composición, existen debilidades que se señalan pensando una posible mejora futura.

Resumen El Examen Nacional de la Secundaria Superior (ENEM), creado en 1998 para evaluar la calidad de la educación ofrecida a la juventud brasileña, se ha consolidado como la principal puerta de acceso a la Enseñanza Superior en Brasil. Actualmente es reducido el número de estudios dedicados a analizar la calidad de la prueba y de los elementos que la componen. Para contribuir a esta temática, este artículo busca analizar la calidad psicométrica del Examen de Matemáticas de la edición 2018 de ENEM/Brasil. Con respecto a la metodología, la investigación fue predominantemente cuantitativa y exploratoria a través de técnicas psicométricas aplicadas a una muestra de 68438 estudiantes del 3º año de preparatoria, quienes realizaron la prueba. Los resultados apuntaron hacia una prueba confiable (α>0.7). En cuanto a los ítems que lo componen, 4 se identificaron con problemas de ajuste al modelo logístico de 3 parámetros de la Teoría de Respuesta al Ítem (TRI) adoptado por el examen; 1 que presentaba un coeficiente de discriminación significativamente bajo (a <0.5) y 5 que tenían un coeficiente de dificultad con niveles encima de los considerados aceptables (b> 3.0), teniendo en cuenta los criterios generales expuestos en la literatura especializada. Estos resultados nos llevan a concluir que un porcentaje considerable de los ítems analizados de la prueba (22.7%) tienen parámetros psicométricos insatisfactorios. Considerando que cualquier imprecisión indicada puede comprometer la validez de los resultados obtenidos, se sugiere mejorar los procesos que involucran la creación, revisión, ensayo y evaluación de los ítems, a fin de garantizar la isonomía del examen.

Resumo O Exame Nacional do Ensino Médio (ENEM), criado em 1998 para avaliar a qualidade da educação oferecida para os jovens brasileiros, tem se consolidado como a principal porta de acesso ao Ensino Superior no Brasil. Contudo, ainda é pequeno o número de estudos voltados a analisar a qualidade do exame e dos itens que o compõe. Para contribuir com esta temática, este artigo tem o objetivo de analisar a qualidade psicométrica da Prova de Matemática da edição de 2018 do ENEM/Brasil. Metodologicamente, trata-se de uma pesquisa predominantemente quantitativa e exploratória, desenvolvida a partir da aplicação de técnicas psicométricas a uma amostra de 68438 respondentes, matriculados no 3º ano do Ensino Médio no ano de sua aplicação. Os resultados indicaram uma prova de confiabilidade satisfatória (α>0.7). Quanto aos itens que a compõem, identificou-se 4 que apresentavam problemas de ajuste ao modelo logístico de 3 parâmetros da Teoria de Resposta ao Item (TRI), adotado pelo exame, 1 que apresentava coeficiente de discriminação significativamente baixo a<0.5 e 5 que apresentavam coeficiente de dificuldade acima dos limites considerados aceitáveis neste estudo b>3.0 , definidos a partir de consulta à literatura especializada. Esses resultados nos levam a concluir que uma porcentagem considerável dos itens da prova analisada (22.7%) apresenta parâmetros psicométricos insatisfatórios. Tendo em vista que qualquer imprecisão sinalizada pode comprometer a validade dos resultados obtidos, sugere-se que os processos que envolvem a criação, revisão, testagem e calibração dos itens sejam aprimorados, de modo a garantir a isonomia do exame.

Abstract The Brazilian National High School Examination (ENEM), created in 1998 to assess the quality of education offered to young brazilians, has consolidated itself as the main access to the universities in Brazil. However, there are few studies aimed at analyzing the quality of the exam and the items that are in it. Thus, this paper aims to analyze the psychometric quality of the mathematics test of ENEM of 2018. It was used a quantitative and exploratory methodology, developed through psychometrics methods applied to 68,438 students that made the exam, enrolled in the last year of the high school. The results pointed to a reliable test (α>0.7). As for the items that compose it, four showed adjustment problems concerning to the logistic model of three parameters of the Theory of Response to the item (TRI), adopted by the exam, one showed a significantly lower coefficient of discrimination a<0.5 and five that showed a difficulty coefficient higher than those considered acceptable b>3.0 . These results lead us to conclude that a considerable number of the items analyzed (22.7%) showed unsatisfactory psychometric parameters. Bearing in mind that any reported inaccuracies may compromise the validity of the results obtained, it is suggested that the processes that involve the creation, review, testing and calibration of the items must be improved, in order to guarantee the isonomy of the exam.